Năm 1865 dưới triều Tự Đức, Nguyễn Văn Siêu cho xây cầu nối bờ với đền Ngọc Sơn và đặt tên nó là Thê Húc (nghĩa là "giọt ánh sáng đậu lại" hay "Ngưng tụ hào quang"). Cầu gồm 15 nhịp, có 32 chân cột gỗ tròn xếp thành 16 đôi, mặt cầu lát ván, thành sơn màu đỏ sẫm, chữ Thê Húc được thếp vàng.[1] Cầu đã trải qua hai lần tái thiết kể từ khi hoàn tất. Lần thứ nhất là vào năm 1897 triều Thành Thái. Lần thứ nhì là vào năm 1952 sau khi một nhịp cầu gãy vào đêm Giao thừa năm Nhâm Thìn vì khách đi lễ đền Ngọc Sơn quá đông.[1] Dưới sự giám sát của kiến trúc sư Nguyễn Bá Lăng cầu được xây lại thay vì bằng gỗ thì móng cầu được đúc lại bằng xi măng.[2]